[Nitrino]

Здравствуйте, участники форума Вебмастерс.ру. Сегодня я беззаботно серфил записи в твиттере, не настраиваясь на серьезную работу. Но моему покою положил конец один твит у модератора данного форума, в котором указывался новый Конкурс seo статей на 1000 у.е. от webmasters.ru и RDS, в рамках которого сейчас и пишу эту статью. Буду надеяться, что вам она понравится.

Тему статьи, фильтр АГС, я выбрал не случайно. В жизни я часто с ним сталкивался, и особо приятных воспоминаний у меня от этого не осталось. Выводил из под АГС я лишь раз, в остальных случаях сайты были заброшены или являлись ГС. И все же, благодаря таким неприятностям я узнал массу нового об этом фильтре, о его структуре, действии. Я находил много полезных статей, благодаря которым сейчас имею те знания, которые собираюсь передать в этой статье. Знания, построенные на чтении и личном опыте. Ну, начнем же!

Что же такое АГС?

Это понятие можно разделить на два определения:

С точки зрения Яндекса, АГС – система фильтров, защищающая выдачу Яндекса от мусора, каким являются ГС, дорвеи, частично саттелиты и сайты, не несущие какой либо полезной информации. Фраза «сайт под АГС» изначально подразумевает то, что сайт является мусорным, искажал выдачу и за это был наказан поисковиком.

Для вебмастеров же АГС – фильтр, из-за которого в индексе остается 1-2 страницы, остальные же попросту исключаются из выдачи. А фраза «сайт под АГС» значит то, что его страницы в выдаче обрезали из-за какого-то критерия, который он не соблюдал. Будь то копипаст, продажа ссылок, не уникальный код сайта и прочее. Данное понимание наиболее частое, но не соответствует действительности. Почему? Это мы узнаем чуть позже.

История создания АГС.

Считая то, что в двухтысячных годах начало активно развиваться вебмастерство, появились и ГС. Первые ГС не предвещали беды. Они, как правило, были попросту попытками новичков сделать более-менее нормальный сайт, ведь тогда распространялся миф о «несметных богатствах» и халяве в сети Интернет. Ясное дело, опыта у них мало, знания только теоретические, а затрат времени и усилий вовсе не было. К удивлению многих, в том числе и опытных вебмастеров, эти сайты начали получать посетителей. Вот после таких событий вебмастера и начали массово клепать ГС, делая их более привлекательными для поисковиков, не задумываясь о уникальности контента и дизайна. Это очень сильно пошатнуло Яндекс, наполнив поисковую выдачу копипастом и мусором. На это все яндекс дал ответ новым фильтром, называемым АГС-17.

АГС-17 была первой попыткой защитить выдачу. Цель ясна – убрать все ГС с индекса. Но каким же способом это можно сделать? Ответ только один – создать ряд критериев, благодаря которым сайты проходили через фильтр качества. Критерии были созданы, но не изменялись, добавляясь лишь в ручную. Этим пользовались вебмастера, создавая все новые и новые способы создания ГС. Но Яндекс не останавливался на этой защите.

АГС-30 вышел в октябре 2009 года. Он был гораздо лучше своего предшественника благодаря своей новой функции. С помощью тех же внутренних фильтров создавались новые критерии, и создавались автоматически. К примеру, если несколько сеток ГС имеет один и тот же участок кода, что считывается фильтром. АГС замечает данный участок, и, если такие случаи повторяются только в ГС, добавляет его в критерии.

На данный момент АГС-30 является последней версией. Но вскоре ожидается еще одна печаль, которая называется АГС-35. Неизвестно, какие там будут внутренние фильтры и устройства, но он даст значительный удар всем сеткам ГС, которые еще живы после АГС-30.

На этом наш уход в историю закончен, но теперь мы многое узнали о причинах и немного - об устройстве АГС.

Устройство и действие АГС.

Ну вот мы и подошли к основной части статьи. Она важна не менее чем вывод сайта из АГС, помогая нам узнать суть фильтра. Без этого все мои советы по защите и выводу сайта будут не полезнее чем формулы физики, которые дали пятикласснику. Благодаря этой теоретической части вы сможете двигаться вперед, создавая свои способы защиты от этой пакости.

И так, мы знаем что АГС – набор критериев, по которым проходит сайт в индексе. Пройдет – его ждет счастливая жизнь в выдаче, не пройдет – в индексе у него останется пару страниц, а вебмастеру придется очень долго возиться для того, чтоб вытащить сайт из под АГС. Но будем реалистами, Яндексу попросту невозможно проверить все сайты, которые появляются в индексе. И как же он тогда выбирает своих жертв? Ведь не случайно же. Тут и понимаем, что для попадания под проверку фильтром, сайт должен обратить на себя внимание Яндекса. Назовем это происшествием.

Происшествием является какое-то событие на сайте, которое заставляет Яндекса послать сайт на проверку.
Прошу заметить то, что событие может быть и отсутствием событий. То есть если ваш сайт давно не обновлялся, или же на нем нет robots.txt – это все уже происшествие. Их самих множество, ни один вебмастер не может знать все возможные происшествия, по которым Яндекс проверяет сайт. К счастью, опытные вебмастера без проблем видят в сайте проблемы, из-за которых он улетел под АГС.

Но Яндекс ведь не может обходиться одним происшествием. И теперь в игру вступают критерии. Что же, в нашем понятии, критерии? Критерии – подфильтры, по которым проходит ваш сайт, с целью занесения его под АГС. Вроде все просто, но Яндекс поделил критерии на два вида: положительные и отрицательные. Ну тут все ясно.

И так, у нас уже есть происшествие и критерии. Что же дальше, пропуск сайта по всем критериям? Опять же, это очень ресурсозатратно. Именно поэтому мы знаем, что каждому происшествию отвечают свои критерии. К примеру, на сайте копипаст. Это своеобразное происшествие. Скорей всего, тут пойдут критерии на уникальность всей страницы (т.е. кода), критерий на наличие ссылок на страницы и прочее. Ему не нужен будет критерии о скорости загрузки сайта и некоторые другие.

Но как-то все это не вписывается в общую картину. Как вычисляется нужная масса ссылок для погашения определенного критерия? Чего же нам не хватает, что предусмотрел Яндекс? А не хватает нам системы баллов, которую и имеет фильтр.

Объясню все на примере. Допустим, у нашего сайта появилось происшествие. Яндекс пускает сайт под критерии. Пусть происшествием будет тот же копипаст. Тогда критерии будут такие:

Уникальность кода

-15 баллов

Уникальность текста

-10 баллов

Ссылочная масса

+30 баллов

Посетители

+5 баллов

Результат – наш сайт не уходит под АГС, так как баллов у нас +10. Но даже если у нас сума будет чуть меньше нуля, мы не уйдем под АГС. Для того чтобы это случилось, нужно набрать определенное количество отрицательных баллов. Сколько? Этого не знает никто (кроме самого Яндекса), ведь эта система чисто теоретическая, выведена простыми вебмастерами, которые на этом, как говорится, собаку съели.


Что же дальше происходит с нашим сайтом? Сразу под АГС и забыли? Вот и нет, дальше самое интересное. Сайт проходит по нескольким глобальным критериям. Вот они:

Критерий сеток

Критерий, позволяющий вычислять целые сети ГС благодаря их неуникальному коду. Ведь для ГС блещет уникальностью. На данный момент известная пара основных способом вычисления:

1) Время регистрации домена – пожалуй, самый очевидный способ вычисления. Но только полный идиот будет регистрировать пачку доменов под ГС в один день и у одного регистратора.

2) DNS и IP сайта – тоже очевидно, что поисковик будет по этому проверять.

3) Аккаунт, на котором зарегистрирован домен – официально, регистраторы не распространяют информацию о том, кто зарегистрировал этот домен(если сам пользователь не захотел этого), но крупные регистраторы предоставляют информацию Яндексу о том, что зарегистрированные домены имеют одного владельца.
Время обновления контента – старайтесь разнообразить время добавления контента на сайт, не добавляйте все в одну минуту.

4) Одна структура сайта – это тот же шаблон, сборка CMS и прочее.

Именно по таким принципам АГС вычисляет целые сетки сайтов, убирая их из индекса. Но убирать он их будет лишь в том случае, если ваши сайты – ГС. Против качественных сеток сайтов он ничего против не имеет.

Критерий репутации

Довольно простенький и очевидный критерий, но крайне полезный. Он добавляет вам отрицательные балы в том случае, если у вашего домена уже есть плохая репутация, то есть если он уже попадал под АГС, если у него мало положительных очков и прочее. Логично, что чем чаще ваш сайт попадает под АГС и вы его выводите, тем больше шанс попасть под фильтр на следующей проверке. Плюс ко всему, Яндекс будет держать вас на примете, вследствие чего происшествий будет значительно больше.

В критерии репутации нет положительных баллов, он больше похож на судимость. Лучшее, что тут может получиться – ноль.


В результате, схему фильтра АГС мы можем видеть примерно такой:


Критерий репутации отмечен синим, так как может лишь навредить. Все остальное вроде понятно. После происшествия сайт пропускается по критериям, проверяется на сетку, репутацию. После всего этого его ждет решение – наказать или помиловать.

Ну вот и все, с устройством АГС закончили.


Когда срабатывает фильтр АГС.

Как правило, основные причины попаданий под проверку АГС это:

1) Не уникальный контент, копипаст;
2) Слишком сильная переоптимизация текстов и страниц (большое количество ключей на странице);
3) Не уникальный код шаблона;
4) Дубли;
5) Перебор внешних ссылок на странице;
6) Отсутствие обновления сайта;
7) Плохие поведенческие факторы;
8) Сгенерированный текст, синонимайзинг;
9) Прочие мелкие причины.

Синим отмечены те причины, из-за которых можно сразу влететь под АГС, без каких либо шансов на "повезло". Черным же – дополнительные причины, которые лишь запускают механизм проверки, сами они являются только усугубляющим фактором, который сам по себе не может отправить под АГС, но может увеличить количество негативных баллов от других причин.

Последние, как правило, связаны с обновлением критериев на фильтре. К примеру, вы используете код, благодаря которому вы улучшаете поведенческие факторы сайта. Некий вебмастер, который имеет сетку ГС, тоже его использовал. В результате – сетка ГС забанена, код вошел как критерий, ваш сайт попал под раздачу.

А также, не пытайтесь обмануть Яндекс! В подавляющем большинстве случаев такие сайты теряют свои пузомерки, а некоторые попросту уходят под АГС.


Как не уйти под АГС.

Этот раздел очень важен. Ведь если выход из под АГС необходим некоторым, то защита от него нужна всем. Что же нам нужно делать, чтобы не попасть под АГС?

1) Уникальный контент. Вот оно, главное сокровище всех сайтов. Именно благодаря нему сайт держится в поиске. Не хотите сами писать? Закажите у людей. Есть множество бирж, на котором простой рерайт может стоить до 10 рублей.
2) Делайте правильный robots, ведь на него чуть ли не в первую очередь смотрит бот Яндекса. Не скачивайте бездумно разные версии роботса, внесите в них что-то свое. Как правило, это хорошо воспринимается (траст), хоть и не отображается в выдаче. Также правильный роботс запрещает индексацию дублей.
3) Используйте теги правильно, не переспамьте ими. Ведь бот может увидеть в этом излишек ключевиков на странице. Поначалу их стоит вообще скрыть от индексации.
4) Регулярно обновляйте сайт. Самое оптимальное решение – от 500 символов в день.
5) Улучшайте поведенческие факторы. Это вам поможет защитить себя от АГС, да и прибыль улучшит.
6) Увеличивайте количество посетителей. АГС не тронет сомнительные сайты (сомнительные не путать с черными) с посещаемостью около 10к в день.
7) Грамотно используйте перелинковку и исходящие ссылки.



Затраты на сайт.

Быть может, для многих станет новостью тот факт, что Яндекс высчитывает ваши затраты на сайт. И это не миф, а суровая реальность.

Яндекс смотрит на некоторые критерии, такие как зона регистрации, хостинг, тот же роботс(вот почему я говорил его изменять), контент. Все это он видит, считает. Считает не в смысле валюты или прочего, затраты ведь могут быть и физические, и интеллектуальные, хотя и денежные, конечно, тоже считает. Смотрит на стоимость движка, на входящие ссылки и прочее. Именно поэтому, не жалейте денег на сайт, оно все к вам вернется.

Кроме того, далеко не секрет то, что Яндекс различает покупные ссылки и естественные, а также считает их стоимость по весу. Так что говорю еще раз – лучше сразу достать определенную сумму и постепенно начать вкладывать её в сайт. Это гораздо лучше, чем понаставить разной рекламы на сайт, а прибыль пускать на продвижение. Во втором случае траст и развитие уйдет в ноль (реклама дает минус, продвижение погашает этот минус), в первом же случае ваш сайт неплохо взлетит, а потом даст ощутимый доход. И не будем спорить о том, что второй вариант значительно увеличивает ваши шансы уйти под АГС до начала продвижения.

Тут немного отойду от темы и добавлю один полезный совет по продвижению сайта. Не вкладывайте сразу все деньги в ГГЛ и прочее, пользы от этого будет ноль. Лучше всего на первых месяцах жизни сайта Яндекс воспринимает ссылки с блогов и социальных сетей. Но делать это, конечно же, стоит только после наполнения сайта контентом.

Как выйти из под АГС.

И мы приблизились к завершающему разделу данной статьи. Что же делать, когда сайт уже под АГС? На это есть несколько ответов.

Во-первых, проверьте оптимизацию ваших страниц. Возможно, вы переспамили однотипными ключами на страницах или в титле. Забудьте об оптимизации, нужно спасать сайт.

Во-вторых, контент. Если вы делали копипаст, сейчас же удаляйте большую часть (если не всё) текста. Начинайте добавлять уникальный контент, только не синонимайзинг.

В-третьих, исходящие ссылки. Внимательно просмотрите все страницы на наличие большого количества исходящих ссылок. На одну страницу нужно не больше 1-2 ссылок, а если уж под АГС, то следует убрать их все.

Ну и на последок, проверьте ваш robots. Возможно, вы не убрали в нем индексацию дублей, что означает огромный шанс попадания под АГС.

И после любого из этих случаев (проверить стоит все) пишите Платонам. Напишите слезливое письмо о том, что вашу админку взломали, или что-то типо такого, попросите вернуть сайт в индекс. Конечно же, Платоны смотрят на все это с улыбкой и понимают, что же с вами произошло на самом деле. Но помогать обязаны.

Накопленные в результате проверки АГС негативные баллы имеют тенденцию постепенно снижаться, если на сайте нет новых нарушений.

Без Платонов вывод из АГС долгий, минимум 3 месяца. Это в том случае, если вы решили проблему. Так что писать им обязательно нужно.

Также есть еще пару способов бороться с АГС, но они скорей являются последним вариантом:

1) Сносите весь сайт, домен ставьте на парковку на несколько месяцев. Как писалось выше, баллы постепенно утекут, а домен очистится. Если вам не горит восстановить этот сайт – этот способ для вас. Дешевле просто потом продлить домен, чем платить за контент и прочее.

2) Есть еще один интересный вариант с сайтом под АГС. Вы можете сделать переадресацию каждой страницы на новый сайт. Зачем оно такое нужно? Да так пузомерки со старого сайта могут перелезть на новый. Это займет время, но оно того стоит.

3) Этот способ состоит в том, что вы попросту меняете владельца сайта. Не в настройках, это не поможет. Вы должны перепродать домен на аукционе или просто оставить его, купив потом как освободившийся другим профилем.

Но, как правило, под АГС попадают эти же ГС. Тут ничего делать не нужно. Гораздо легче склепать новый ГС, чем выводить старый.



И так, моя статья подошла к концу. Источником являлись различные статьи в интернете, мои личные знания и опыт. В целом, я потратил на него два дня, среди которых лишь 5 часов ушло на написание, остальное время я оформлял. Надеюсь, она вам понравилась! Не забывайте ставить "Спасибо", благодарю всех за внимание.

[KipiaSoft]

Пожалуй одна из самых толковых статей про АГС из всех читаемых ранее. Спасибо автору!

[maXdonalds]

Спасибо, интересно почитать. Только есть вопрос: а для вывода из под АГС

Начинайте добавлять уникальный контент, только не синонимайзинг.

Сколько конкретно нужно контента? 20к, 100к, 250к ?

[Nitrino]

maXdonalds, определенного объема нет. Добавлять равномерно, по 500-2000 символов ежедневно, пока сайт не выйдет из АГС. Ну и конечно же, писать нужно саппорту Яндекса(уже после того, как добавите 20-50к, в зависимости от типа сайта).

[MacLeo]

Комментарий модератора: MacLeo

1. Nitrino,красный цвет разрешено использовать только администрации.

[Nitrino]

MacLeo, извиняюсь, спасибо что подправили. Просто красный больше соответствовал ситуации.

[Landorn]

У Яндекса только 3 фильтра (вместе с 35)?

[Looord]

Великолепная статья! Яша славиться своей непредсказуемостью, ну хоть с АГС немножечко туман рассейлся.

[Nitrino]

Landorn, Яндекс не раскрывает всех своих фильтров. АГС это самый известный, масштабный и вредный фильтр(скорее система фильтров), но помимо него (я в этом не сомневаюсь) есть еще много дополнительных мелких фильтров. Им гораздо легче сделать новую защиту, чем тратить огромный канал и запасы памяти на индексацию мусорных сайтов.

[seoeffector]

Наконец то я дождался этой статьи, блог под фильтром, статья как раз написана вовремя. Спасибо